Соревнование по определению похожести вопросов закончилось, теперь можно поизучать чужие решения. И пересмотреть еще раз некоторе нюансы в своем решении тоже ( Read more... )

Програмный пакет для построения и использования языковых моделей KenLM лежит на гитхабе: https://github.com/kpu/kenlm
( Read more... )

Далее будут кратко описаны три модели. Две модели для частичной разметки соответствуют последовательным экспериментам по выбору общей архитектуры. Условно они называются Model1 и Ensemble. Модель лемматизации общая, ансамбль для нее я не делал, хотя это безусловно возможно и даже желательно.

Исходные тексты можно найти на гитхабе: https://github. ( Read more... )

Посмотрим, как с помощью нейросетевых моделей можно строить синтаксическое дерево зависимостей для предложения.
( Читать далее (LSTM, Keras, char-based parsing)... )

Если мы для каждого предложения умеем вычислять вектор фиксированной длины, то становится доступна и кластеризация. Именно кластеризация позволяет быстро проверить важную гипотезу,  что существует некоторое относительно небольшое количество предложений (словосочетаний, синтагм), описывающих некоторые типичные ситуации окружающей действительности и ( Read more... )

Чтобы определять w2v вектор несловарных термов, можно применять разные алгоритмы, включая описанный ранее регрессор char-векторов в w2v-вектор. Сейчас я опишу еще один способ, который может кому-то пригодится сам по себе, или даст повод посмотреть на интересную особенность библиотеки gensim.
( Read more... )

В большинстве случаев модели учились строить для любого слова вектор заранее заданной фиксированной длины. Как можно использовать получаемый вектор:
( Read more... )

Для алфавитных языков характерно большое разнообразие длин слов на письме. Простой анализ статистики длин токенов в большой корпусе русскоязычных текстов дает среднюю длину слова ~5.6 символов. Но кривая распределения частот такова, что с одной стороны есть немного очень коротких и очень частотных слов (я, и, да), а с другой неопределенное ( Read more... )

Далее буду выкладывать кусочками накопившиеся материалы, имеющие отношение к моделированию естественного языка на символьном уровне (char-модели), на уровне слов и с учетом общего контекста. Все описываемые модели я делал своими руками, поэтому в случае каких-то вопросов по реализации можете писать в комментах и требовать пояснений.

CHAR-LEVEL

1. ( Read more... )

(Продолжаю тему http://kelijah.livejournal.com/185227.htmlПредварительно замечу, что в модели нет никакого явно заданного словаря, и однокоренные слова в ней не заданы извне. Вся похожесть однокоренных слов появляется как косвенный результат обучения по перефразировкам ( Read more... )